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摘 要 : 针对 基于 线 特征 的 单 目 SLAM (同时 定位 与 地 图 构建 ) 中 的 数据 关联 问题 , 提出 了 一 种 基于 线段 端点 Patch 确 
认 的 先 代 数据 关联 算法 。 算 法 依据 近似 共 线 和 端点 近似 重合 两 个 指标 来 获取 线 特征 的 最 近邻 关联 对 ， 使 用 基于 线段 端 
点 Patch 的 定向 匹配 确认 机 制 来 剔除 最 近邻 关联 对 中 的 错误 项 ， 同 时 以 迭代 处 理 的 方式 提高 数据 关联 的 准确 性 ， 综 合 
利用 了 线 特 征 间 的 几何 约束 和 图 像 相 似 性 约束 。 上 述 算法 在 公开 数据 集 上 进行 了 测试 ， 与 现 有 线 特 征 数 据 关联 算法 的 
对 比 实验 结果 表明 ， 该 算法 在 满足 系统 实时 性 的 前 提 下 ， 在 线 特征 关联 对 数目 和 关联 准确 率 上 均 达 到 了 较 好 效果 。 
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Abstract: Aiming at the data association problem of line-based monocular SLAM, this paper proposed a iterative data 
association algorithm based on confirmation of endpoint patch. The algorithm obtained closest feature line pairs according to 
approximate collinearity and approximate coincidence of endpoints, then used directional search of endpoint patches to remove 
the error pairs. Iterative approach is used to improve accuracy. The algorithm comprehensive used geometric constraint and 
image similarity of feature line pairs. The experiments are carried out on a public dataset. By comparison with other similar 
methods, it is proved that the proposed data association approach not only satisfy real-time requirement, but also has a good 
performance on match amount and matching accuracy. 
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0 言 
al 房间 )， 而 这 些 场景 中 可 以 提取 的 线 特 征 数目 较 多 。 
a i HUGE AE, Mt SLAM 相 比 于 点 特征 ， 线 特征 SLAM Fy Ac EE Be. AL 
系统 在 近 几 年 中 发 展 迅速 , 其 中 基于 特征 的 视觉 SLAM 系统 在 前 已 有 的 一 些 单 目 线 特征 SLAM 系统 均 存 在 一 定 问 题 : 这 些 


准确 性 和 和 鲁 棒 性 方面 的 表现 尤为 出 色 ， 涌现 出 了 很 多 基于 特征 SLAM 一 部 分 对 应 用 环境 有 特殊 要 求 线 73， 一 部 分 仅 能 处 理 线 
的 视觉 SLAM RA, THEM GE SLAM 系统 中 最 常 使 用 的 特 Ba RES 9。 以 上 这 些 问 题 出 现 的 一 个 重要 原因 在 
E 是 点 特征 , 但 基于 点 特征 的 SLAM 系统 在 纹理 稀 疏 的 场景 于 目前 单 目 线 特征 SLAM 中 数据 关联 部 分 存在 一 定 困难 。 

《如 人 造 环境 中 的 室内 、 走 廊 等 ) 存在 特征 数量 较 少 的 问题 ; 数据 关联 是 SLAM 问题 中 的 重要 难点 之 一 ， 对 SLAM 系 
同时 由 于 在 数学 意义 上 点 的 维度 为 零 ， 基 于 三 维 点 特征 的 地 统 的 鲁 棒 性 和 稳定 性 影响 极 大 , 数据 关联 是 指 在 SLAM 系统 


无 法 表现 更 多 层次 的 结构 化 信息 ， 在 增强 现实 等 应 用 中 常常 需 的 地 图 数据 和 当前 传感器 的 输入 数据 之 间 建 立 关 联 的 过 程 。 在 


pm 


ch 


Ll 


Ds 
pay 


要 在 此 基础 上 再 次 提取 平面 、 直 线 等 特征 。 部 分 学 者 尝试 在 视 Mi SLAM 系统 中 , 点 特征 的 数据 关联 问题 已 经 研究 地 较为 透 
觉 SLAM 系统 中 使 用 其 他 特征 , 这 些 系统 中 又 以 基于 线 特征 的 。 彻 ， 但 由 于 线 特征 本 身 存在 的 端点 不 稳定 、 过 度 分 割 等 问题 ， 
系统 为 主流 B-9, 其 原因 在 于 一 方面 基于 线 特 征 的 三 维 地 图 能 够 。 ” 线 特 征 的 数据 关联 还 有 待 进一步 研究 。 

提供 更 多 环境 结构 信息 ; 另 一 方面 在 视觉 SLAM 应 用 领域 中 纹 前 单 目 线 特征 SLAM 中 并 没有 一 个 通用 的 数据 关联 方 
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法 ， 但 已 有 的 算法 大 致 可 以 分 为 如 下 三 类 第 一 类 利用 当前 相同 ， 不 失 一 般 性 ， 下 文 以 优化 当前 相机 位 姿 的 过 程 为 例 阐述 数 
机 预测 位 姿 将 地 图 中 的 三 维 线段 投影 到 二 维 图 像 平面 上 ， 使 用 据 关联 算法 。 
最 近邻 匹配 的 方法 得 到 三 维 线段 与 二 维 线段 的 匹配 对 外， 第 二 网 
类 使 用 二 约 线段 端点 或 其 他 采样 点 周围 的 图 像 决 (Pateh) aa 和 2 ”基于 Patch 确认 的 迁 代 线 特征 关联 算法 
线段 描述 子 no 来 获取 关联 对 ， 将 三 维 线段 已 关联 的 二 维 线段 的 基于 Patch 确认 的 选 代 线 特征 关联 算法 首先 基于 最 近邻 线 
线段 描述 子 或 采样 点 Patch 与 待 关联 的 二 维 线段 进行 比较 ， 得 ”。 段 定义 得 到 候选 匹配 对 ， 然 后 利用 固定 方向 的 图 像 块 搜索 策略 
到 关联 对 ,其 中 线段 描述 子 以 MSLD00 和 LBDUa 为 主 ; =X 吻 除 错误 匹配 ， 之 后 利用 已 得 到 的 匹配 对 优化 当前 相机 位 姿 ， 
方法 结合 了 前 两 种 数据 关联 方法 Bal, 使 用 最 近邻 方法 得 到 候选 ”最 后 将 上 述 过 程 进行 迭代 优化 。 下 面 对 算 法 的 各 个 步骤 进行 详 
一 维 线段 集合 ， 然 后 使 用 基于 线段 端点 Patch 或 线段 描述 子 的 SALA 
方式 得 到 最 终 匹 配 结果 。 其 中 第 一 类 方法 的 速度 最 快 ， 但 在 线 21 基于 最 近邻 匹配 的 初步 数据 关联 
段 密集 或 预测 位 姿 误差 较 大 的 情况 下 匹配 错误 率 过 高 ， 而 且 如 初步 关联 结果 的 获取 可 分 为 两 个 步骤 :缩小 候选 关联 集合 、 


何 判断 最 近 


邻 线段 也 是 一 个 没有 很 好 解决 的 问题 ， 第 二 类 方法 


准确 度 较 高 ， 但 其 计算 量 较 大 ， 同 时 
取 算 法 得 到 的 线段 端点 可 重复 性 较 差 


FH 


难以 得 到 足够 的 匹配 对 ;第 三 类 方法 虽然 改善 J 


前 已 有 的 线 特征 提 


确定 最 近邻 匹配 对 象 。 详 细 介 绍 如 下 ; 
a) 缩小 候选 关联 集合 。 最 近邻 匹配 中 首先 将 三 维 线 特征 投 
影 到 当前 相机 平面 得 到 二 维 投影 线段 ， 然 后 根据 投影 线段 计算 


的 问题 ， 仅 使 用 图 像 特 征 


以 上 单一 方法 


存在 的 问题 ， 


中 二 维 


但 己 有 的 实现 方式 中 计算 量 
姿 误差 较 大 时 ， 最 后 得 到 的 正确 匹 西 
本 文 针 对 单 目 线 特征 SLAM H 
线段 的 关联 问题 展开 研究 ， 提 出 了 一 种 


仍然 较 大 ， 当 预测 位 
CRA RB 


P 地 图 内 三 维 


线 特 征 与 图 像 


Patch 确认 的 和 迭代 线 特征 关联 算法 。 该 介 


法 和 线段 端点 Patch 


的 框架 处 理 关 联 算法 


1 问题 定义 


本 文 讨论 的 数据 关联 问题 的 应 用 场景 是 基于 
单 目 线 特 征 SLAM 系统 ， 本 文 将 音 


各 的 基础 上 ， 


法 融合 了 最 近邻 匹配 算 
匹配 算法 ， 在 改进 最 近邻 匹配 中 的 最 近邻 
线段 定义 、Patch 匹配 中 Patch 搜索 策 
匹配 来 减 小 最 近邻 匹配 方法 错误 率 较 高 的 缺陷， 利用 j 
中 输入 数据 噪声 较 高 的 问题 。 


图 优化 框架 的 


线 特征 


数据 关联 问题 定义 为 : 给 定 


wo} 和 当前 帧 元 


Dae, 


和 地 图 三 维特 征 的 优化 过 程 提 供 
结果 表示 为 G= { 81, 81»° 
定 的 关联 对 (L,,1,) > 
离 表示 为 4(g,, 基 ,K)， 其 中 工 为 当 


fat ABH 
…8,} ,其 中 g (i=1,2,… 
关联 对 中 三 维 线 特征 与 


阵 , 将 关键 帧 位 姿 


集合 表示 为 T={T, 雹 ,….， 


个 三 维 


内 的 二 维 线段 集合 


在 7 与 ?两 个 集合 中 寻找 正确 匹配 对 的 问题 。 
在 SLAM 系统 中 , 数据 关联 模块 的 主要 功能 是 为 相机 位 姿 
居 ， 将 数据 关联 算法 的 


Ty? 


以 下 两 个 优化 过 程 会 中 使 用 到 数据 关联 结果 : 


c 
giEG 


=a > > death) 


T,= argmin >, d (8, T,,K) 


T) gi eG 万 ET 


其 中 式 (1) 
的 关键 帧 位 姿 和 三 维 线 


用 于 优化 当前 相机 位 姿 ， 
寺 征 ， 以 上 两 个 优化 过 程 的 原理 雪 


一 维 线段 的 关联 距 
前 帧 位 姿 ， 为 相机 内 参 矩 


SLAM 系统 中 的 


线 特 征集 合 


et ee , 


4 
出 图 像 中 的 候选 关联 线段 集合 。 为 加 快 匹 配 速度 ， 本 文 利 用 线 
段 的 角度 和 距离 属性 来 缩小 候选 关联 集合 。 三 维 直线 投影 过 程 
采用 文献 [13] 中 基于 Pliicker 坐标 的 投影 方法 , 在 获取 三 维 直 线 
的 二 维 投影 线段 之 后 ， 为 提高 投影 线段 对 应 的 候选 关联 线段 的 
搜索 速度 ， 将 图 像 中 的 二 维 线段 被 划分 为 多 个 集合 。 本 文 使 用 
线段 角度 和 线段 所 在 直线 到 图 像 中 心 点 的 距离 两 个 属性 来 确定 
候选 匹配 集 ， 其 中 线段 角度 指 的 是 二 维 线段 所 在 直线 与 图 像 4 


be 


标 系 x 轴 正 方向 的 夹 角 。 二 维 线段 按 线段 角度 〈0-90 E) 被 分 
为 n 个 集合 (i=1,2,…,n) ， 每 个 集合 中 的 最 大 角度 差 值 为 
90/n 度 ,接线 段 所 在 直线 到 图 像 中 心 点 的 距离 二 维 线段 被 分 为 


m 个 集合 1P(i=1,2,…,m) ， 在 图 像 长 宽 分 别 为 640 像素 和 480 
么 素 的 数据 集中 ， 每 个 集合 中 的 线段 到 图 像 中 心 的 距离 最 大 关 
值 为 400/m 像素 。 对 于 待 匹配 三 维 线段 的 二 维 投影 线段 1 ， 首 
先 得 到 其 角度 值 5 和 到 图 像 中 心 点 的 距离 q ， 由 6 d 及 对 应 
属性 差 值 的 闵 值 Bao du 分 别 确定 候选 集合 1A 和 1? ,最 终 的 
候选 二 维 线段 集合 为 1 =1^ AIP 。 需 要 说 明 的 是 虽然 同时 使 用 
了 线段 的 两 个 属性 进行 分 类 ， 其 分 类 算法 的 时 间 复 杂 度 仍 为 常 
数 阶 ， 如 果 仅 使 用 单一 属性 ， 在 同 向 线段 较 多 和 线段 分 布 不 均 


SLAM 系统 中 


式 (2) | 


于 优化 地 图 中 


匀 的 场景 中 候选 匹配 集会 十 分 庞大 ， 而 这 将 大 大 增加 后 续 步 又 
的 计算 时 间 。 

b) 确定 最 近邻 匹配 对 象 。 在 得 到 候选 二 维 线段 集合 之 后 ， 
需要 在 此 集合 中 确定 最 近邻 匹配 线段 ， 这 一 过 程 中 的 重点 在 于 
最 近邻 线段 的 定义 。 与 点 特征 不 同 ， 定 义 最 近邻 线 特 征 是 一 个 
较为 复杂 的 问题 tp9， 由 于 通常 使 用 线段 端点 到 另 一 线段 所 在 直 
线 的 距离 来 表示 线段 间距 离 ， 而 这 一 数据 是 多 维 的 ， 无 法 直观 
判断 出 最 近邻 线段 ， 需 要 根据 线段 自身 的 属性 对 最 近邻 线段 进 
行 计算 。 将 三 维 线段 的 三 维 投影 线段 表示 为 !; ， 图 像 中 提取 出 
的 二 维 线段 为 / 、1, ， 定 义 二 维 线段 间距 离 4(7,7) 如 下 : 


ata, (ey 


d, (LL) = 0.5(dpj, (LL) + dp, (iz) 


dpi, (0)= G) 


(4) 


JER, X 
J, IN (4) H 


MUL d, (1, cre 


d, (1,1) =0.5(d, (1.4) + dp, (1,2) 


d(1,,1) = (4, (l1) +d) 


表示 ),1, 所 在 直线 表示 为 (1,82,82) 


线段 17 间 对 应 端点 的 距离 ，F Has SHB 
住 线段 的 平均 长 度 ， 


括 属性 定义 为 两 类 : 一 类 是 


(5) 


(6) 


其 中 : dy, (1,1) 和 dp, (L1) 表示 线段 1 的 两 个 端点 到 投影 线段 


与 文献 [8] 中 相同 的 计算 方法 ， 以 


P a 为 线段 的 


个 端点 (用 齐 次 坐标 


; ds (Ls1) ® dp (1,41) 表示 


像 平面 内 全 


广 表示 线段 ! 的 长 度 ，L /I 参数 可 以 
立 姿 优化 过 程 中 贡献 更 大 的 长 线段 更 容易 被 


匹配 。 本 文 将 


端点 到 直线 


TER, BI a (7,,7) 量化 表示 这 一 属性 ; 
应 端点 间 的 距离 d, (L1) © 
式 出 现 , TERE PR ESE 


< 线 的 线段 ， 


EF 理 线段 端点 不 稳定 的 情况 。 


维 线段 集合 之 后 ， 对 集合 
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错误 关联 将 严重 影响 当前 
端点 图 像 Patch 的 


a 


而 仅 


=6. d 


线段 和 当前 


类 是 位 置 重合 属性 ， 
型 的 线段 距离 定义 一 般 
景 中 传统 定义 方法 无 
端点 间距 离 又 无 法 鲁 


FP 的 每 一 条 二 维 线 

ee 
维 线段 ， 如 果 其 最 小 距离 小 于 阔 值 dt 
维 线 特征 工 的 关联 特征 。 
` m=20> Borax 
2.2 ”基于 线段 端点 Patch 的 错误 关联 剔除 
于 SLAM 系统 中 三 维 
匹配 算法 得 到 的 匹配 对 中 不 可 避免 


， 则 将 此 二 


在 实际 操作 中 ， 本 文采 
nx =40、d =90。 


陆 预 测 位 姿 的 误差 , 最 
也 存在 错误 关联 ， 这 些 


帧 位 姿 计算 结果 的 精度 ， 本 文采 用 基 


错误 匹配 剔除 策略 来 处 天 


二 维 点 附近 的 一 个 正方 形 图 人 
近 的 Patch 来 进行 线段 匹配 是 一 个 较为 常 ) 


这 些 错误 关 


线段 上 端点 


JAY BGA 


述 为 如 下 步骤 wae 点 为 例 ): 


效 取 三 维 线 特征 对 应 的 Patch, 此 处 


维 线段 端点 附近 的 区 


住 线 特征 投影 至 


近 图 像 Patch 的 


| HW AF E 


更 用 已 经 关联 到 


， 在 候选 二 维 线段 集 


Me: 


产 相 对 较 大 ， 而 且 线 
J 少 ， 在 线段 较为 密 


本 文 将 基于 线段 端点 Patch 的 
的 错误 剔除 上 。 有 具体 步骤 为 : 


于 单 目 线 特征 


段 端点 可 重复 怕 


集 的 场景 中 ， 此 方 


匹配 方法 用 于 


合 中 进行 搜索 ， 计 算 每 一 条 候选 二 维 线段 的 端点 Patch 与 三 维 
线 特征 对 应 Patch 之 间 的 ZMSSD ( 零 均 
将 ZMSSD 值 最 小 且 小 于 阔 值 的 二 乡 


灰 度 差 平 方 和 ) 
佳 线段 关联 到 该 三 维 线 


方案 利用 了 线段 端点 处 的 
FP 相 机 预测 位 姿 误 
E 较 差 ， 此 方案 能 够 得 到 的 
案 的 计算 量 会 明 


最 近邻 匹配 结 


ChinaXiv 合 作 期 刊 


录用 定稿 : 基于 线 特征 的 单 目 SLAM 中 的 选 代数 据 关联 算法 第 37 卷 第 1 期 


a) 获 取 三 维 线 特征 对 应 Patch; 

b) 在 三 维 线 特征 关联 的 二 维 线段 端点 的 “松弛 范围 ”(“ 松 
弛 范围 ”的 定义 请 见 下 文 ) 内 沿 与 “松弛 范围 ” 共 线 的 方向 进 
行 Patch 搜索 ， 如 果 搜 索 到 的 图 像 Patch 与 原 三 维 线 特征 对 应 
Patch 间 的 ZMSSD 值 小 于 阔 值 ， 则 确认 此 关联 正确 ， 和 否则 剔除 
掉 此 错误 关联 。 

在 获取 三 维 线 特征 对 应 Patch 的 过 程 中 ， 首 先 需要 选择 三 
作 线 特征 对 应 的 关键 帧 到 ， 将 与 当前 帧 中 三 维 线 特征 工 的 观 
则 角 最 相近 的 关键 帧 作为 最 佳 观 测 关键 帧 rg? 。 其 中 观测 角 定 
义 为 当前 帧 相机 主轴 与 过 相机 光 心 和 三 维 直线 的 平面 的 夹 角 ， 
如 图 1。 其 中 元 为 相机 主轴 ， 即 过 光 心 c 垂直 于 图 像 平面 的 直 
Bo m, 为 过 光 心 c 和 三 维 直 线 工 的 平面 ， 观 测 角 为 过 与 元 的 
夹 角 a 。 取 得 关键 帧 之 后 从 其 中 工 对 应 的 二 维 线段 / 的 端点 处 
取得 两 个 8*8 的 图 像 块 , 后续 处 理 过 程 则 与 PTAMI 中 的 Patch 
提取 过 程 完全 一 致 ， 其 实现 细节 可 参考 文献 []]。 


Als SJ 


eis 


图 1 三 维 直 线 在 当前 帧 中 的 观测 角 
Fig.l Viewing angle of 3D lines in current frame 

Patch 搜索 阶段 中 计算 候选 二 维 线段 端点 的 图 像 Patch 与 投 
影 线 段 端 点 图 像 Patch 间 的 ZMSSD 值 , 当 ZMSSD {A/h F Ba EL 
时 ， 关 联 被 判定 为 正确 。 但 由 于 线段 端点 不 稳定 ， 这 种 方法 可 
能 会 导致 大 量 正 确 关联 被 剔除 。 为 解决 这 一 问题 ， 本 文 定义 了 
线段 端点 的 “松弛 范围 >”“ 松 弛 范围 ?为 以 原 线 段 端 点 为 中 心 、 
与 原 线段 共 线 的 一 段 长 度 为 $ 个 像素 的 线段 ， 如 图 2， 其 中 忆 
帧 中 a,b, 为 原 线段 ， 端 点 a 的 “松弛 范围 ”为 线段 ap, HK 
ES 定义 如 下 : 


1 Č>2 
ces 1220 7) 
i /2 1 <20 


其 中 :为 原 二 维 线段 的 长 度 ，S 的 最 大 值 为 10 MBAR, Sr 
过 小 时 ，S 的 值 随 坟 而 变换 。“ 松 弛 范围 ”使 得 错误 吻 除 算法 更 
为 鲁 棒 ， 当 线段 端点 的 误差 未 超出 “松弛 范围 ”时 ， 正 确 的 关 
联 对 不 会 被 错误 剔除 。 


ral 
H 


T 


图 2 松弛 范围 内 的 端点 Patch 确认 


Fig.2 Determination of endpoint-patch in relaxation range 
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2.3 和 迭代 关联 算法 29: end if 

迭代 关联 算法 中 使 用 上 述 最 近邻 匹配 方法 得 到 候选 匹配 对 ，“” 30: end for 
然后 采用 基于 线段 端点 Patch 的 错误 关联 剔除 算法 去 除 错误 关 31 return result 
联 对 ， 利 用 得 到 的 关联 对 优化 当前 帧 位 姿 ， 最 后 将 以 上 过 程 迭 32: end function 
代 直 至 优化 过 程 中 的 匹配 错误 率 小 于 阔 值 。 

在 位 次 优化 过 程 中 ， 目 标 函 数 表述 为 式 〔1)， 为 避免 线段 > ”实验 及 结果 分 析 
端点 不 稳定 对 优化 过 程 带 来 的 不 利 影响 ， 目 标 函 数 中 的 距离 函 3.1 实验 设计 
数 d(g,,T,,K) RAK G) 中 描述 的 线段 端点 到 直线 的 距离 ， 本 为 验证 本 文 所 提出 的 迭代 线 特征 关联 方法 的 准确 性 和 高 效 
文 使 用 g2ol19 中 的 LM 算法 来 实现 对 相机 位 姿 的 优化 。 和 迭代 运 性， 与 同类 算法 进行 了 对 比 ， 并 在 公开 数据 集 上 进行 了 相关 实 
算 结束 的 判定 标准 为 相机 位 姿 优 化 过 程 中 的 内 点 比例 大 于 最 近 e 
关键 帧 中 内 点 比例 的 70%， 其 中 内 点 定义 为 位 姿 优 化 后 距离 小 本 文采 用 如 图 3 所 示 的 实验 方案 。 实 验 所 用 SLAM 系统 采 
于 净值 的 关联 对 ， 同 时 考虑 到 SLAM 系统 的 实时 性 , 最 大 迭代 ”用 与 ORB-SLAMD 相 同 的 系统 框架 ,将 其 中 的 点 特征 操作 蔡 换 
次 数 定义 为 3 次 。 为 了 对 应 的 线 特征 操作 ， 并 去 除了 闭环 检测 模块 ， 使 用 速度 较 

基于 Patch 确认 的 迭代 线 特征 关联 算法 如 下 所 示 。 快 的 EDLine07 算 法 提取 图 像 中 的 二 维 线段 。 同 时 对 原 系统 中 
算法 工 基于 Patch 确认 的 迭代 线 特征 关联 算法 跟踪 线程 的 局 部 地 图 跟踪 模块 做 了 改动 ， 并 在 此 模块 后 增加 了 
输入 二 维 线段 集合 三 (1,12,…, 1n)， 三 维 线段 集合 LL, L2,...,Lm), % 关联 误差 评价 模块 。 局 部 地 图 跟踪 模块 中 同时 使 用 了 三 种 线 特 
前 相机 位 姿 P 征 关联 算法 ， 将 待 处 理 的 数据 同时 输入 到 三 种 算法 中 ， 算 法 分 
输出 : 三 维 线段 与 二 维 线段 匹配 对 G 别 如 下 : 
1: function IterativeLineAssociation(J,L,P) 算法 1 为 本 文 提出 的 数据 关联 算法 ; 
2: fori=0 一 3do 算法 2 为 基于 最 近邻 线段 的 迭代 匹配 算法 ， 即 在 本 文 算法 
3 G < LineAssociation(1,L,P) 的 基础 上 去 除 Patch 匹配 确认 的 步 又， 在 文献 [5] 中 采用 ; 
4: P< OptimizePose(P,G)// 按 照 公式 1 优化 相机 位 姿 算法 3 为 基于 LBD 描述 子 的 关联 算法 ,在 文献 [10] 中 采用 。 
5 if Inliers(P,G) then ”// 根 据 内 点 数目 判断 是 否 结束 循环 关联 误 
6 break 差 评价 
7: endfor 
8: return G 


9: end function 


10: 


11: function LineAssociation(/,L,P) 


for i = 0 — m do 


pt — GetPatch(L[i]) 


/获取 三 维 线段 端点 Patch 


Ip — Project3DLine(/[i],P) // 将 三 维 线段 投影 到 图 像 平面 
ls — Get2DLineSet(1p,1) /获取 缩小 后 的 候选 线段 集合 


fNear < false 


forj=0 一 1 


d — Dis(/s[j],/p) 


if d < Dth 


en(ls) do 
/按照 公式 © 计算 线段 间距 离 


then /距离 满足 阔 值 


fNear <+ true 


Ib —Is{j] 


Dth —d 


end if 


end for 


if fNear then 
fPatch — MatchPatch(pt,/b) /按照 2.2 473 


// 找 到 最 近邻 线段 
行 Patch 确认 


if fPatch then 


result — (L[i],/b) 


据 关 联 算法 的 
价 模块 很 难 把 
用 中 数据 关联 
在 每 一 帧 的 输 
线 特征 关联 算 
用 文 


图 3 数据 关联 算法 对 比 实 验 设计 


Fig.3 Design of contrastive experiment between different data 


association algorithms 


由 于 SLAM 系统 内 三 维 地 图 是 实时 建立 和 更 新 的 , 所 以 数 


输入 数据 中 不 可 避免 地 存在 误差 项 ， 关 联 误差 评 
这 部 分 误差 项 完全 剔除 。 为 了 准确 评价 SLAM 应 
算法 的 准确 性 和 效率 ， 本 文 实验 方案 中 三 种 算法 
入 数据 完全 相同 ， 关 联 误差 评价 模块 分 别 对 三 种 
法 的 输出 数据 使 用 相同 的 方法 进行 评价 。 本 文采 


献 [18] 中 的 参数 作为 评价 指标 , 包括 匹配 线段 长 度 比率 M, 


平均 投影 误差 
算 方 法 如 下 : 


其 中 :7 表示 关联 算法 获得 的 关联 对 中 二 维 线段 的 长 


图 像 中 提取 的 


a N 


E 线 段 在 图 像 内 的 二 维 投影 线段 的 长 度 。 


G 和 最 小 角度 区 内 匹配 线段 长 度 之 和 L。 具 体 计 


l; 
M= va ij (8) 


= minty I) 


ey I 表示 
以 投影 到 当前 帧 的 三 
匹配 线段 长 度 比 率 M 


二 维 线段 的 长 度 ， 了 表示 可 


于 描述 算法 


是 否 能 够 获得 足够 多 的 匹配 对 。 
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平均 


其 中 :1 、1,、4 分别 表示 关联 对 
之 和 。 本 文 将 二 维 线段 的 


长 度 
文献 
段 的 


分 为 
BX 


Lo HR RAS 3 项 相 加 得 到 指标 ， 用 
不 同方 向 线段 时 的 1 


a 
忆 


双 
而 本 


相对 较 大 ， 这 使 得 数据 关 
因此 本 文中 G 和 M 两 项 记 
BEN Lun =100px 、G 


G=0.5 


eG, F: 基于 线 特征 的 单 目 SLAM 中 的 选 代数 据 关 联 算法 


> (dn, (Lt) + dp,, (Cae) Ls 


>， li 


(9) 


平均 投影 误差 G 表 述 了 线 特征 关联 算法 所 获取 的 关联 对 的 


投影 误差 。 


中 类 似 的 处 ] 


H| 


EAD RERI 


文献 [18] 中 为 
项 指标 无 法 满 


= 


司 ， 角 度 范 
两 个 区 间 (22.5°,67.5°) 和 (112.50,157.5°)， 每 个 区 间 内 
闫 的 线段 长 度 之 和 表示 为 1(i=1,2,3,4) ， 去 除 划 
于 表示 关联 算法 在 处 理 


目 摄 像 头 的 系统 , 系统 


L=1,+1, +1, 


| 中 不 同 角 度 


(10) 


区 间 内 二 维 


线段 的 


AEREN 0~180 度 之 i 
里 方法 将 角度 分 为 4 个 区 间 : 表示 水 了 
lal, a RE 


a, FRR 


方向 线 


包括 (0%?，22.5°?) 和 (157.5°,180°); 表示 


生 能 。 
以 上 三 个 参数 分 别 设置 J 
足 阔 值 要 求 时 判断 此 帧 数据 关 
采用 相同 的 方法 来 计算 关联 错误 的 帧 率 。 由 于 文献 [18] 是 基于 


Fy (67.5°,112.5°); 其 余 方向 则 


中 最 长 的 


的 


HARE, A 
KAM, ASC 


可 以 直接 得 到 三 维 


文 的 单 


目 系 统 中 无 法 直接 获 ] 


取 深 度 信 息 ， 


线段 的 深 


下 


度 信 息 ， 


部 地 图 


据 为 三 维 


ChinaX ives FERFI 


ERBES UK RWA — 4 


的 四 项 指标 。 


Als 


维 线段 的 匹配 对 ， 记 录 每 种 数 拉 


不 同 数据 关联 算法 的 效果 对 比 


和 1 期 


E 线 段 集合 ， 输 出 数 
昌 关 联 算法 


z 5 


Fig.5 Comparison of effect of different data association algorithms 


图 5 为 实验 运行 时 的 系统 截图 ， 其 中 


维 投影 线段 


维 线段 的 误差 


max 


价 指标 采用 
=45 和 AM =0.1。 


居 算 法 的 输入 数据 中 存在 较 大 误差 ， 
了 更 宽松 的 阔 值 设置 ， 


除 以 上 指标 之 外 ， 本 文 还 对 不 同 数据 关联 算法 的 在 每 帧 的 
运算 时 间 均 值 和 得 到 的 关联 对 数 


进 
平均 


步 对 算法 
值 。 


进行 分 析 ， 实验 


3.2 ”实验 结果 及 分 析 
实验 平台 中 CPU 型 号 为 Inteli7-3700, 3.4GHz, 4G 内 存 。 


实验 


数据 采用 


TUM RGBD 数据 外 
四 个 场景 作为 数据 关联 算法 的 实验 数据 ， 见 图 


目 均值 进 


行 了 统计 ， 
Pp 记录 了 参数 G 相对 于 每 一 帧 的 


同时 为 了 


09]， 本 文选 取 了 数据 集中 的 
4， 其 中 从 上 到 


F, 从 左 至 右 分 别 为 fr2_xyz、 fr3_long office、fr3_str tex_far、 


fr2_rpy 场景 中 的 典型 图 像 帧 ,按照 此 顺序 将 


为 场 


系统 
模块 


景 1-4。 


| 


E> i 
FA 
a 


* 
型 图 


4 TUM RGB-D 数据 集中 的 


像 由 


Fig.4 Typical frame samples in TUM RGB-D dataset 


SEU, Da d 
H, KR 3.1 节 中 介绍 的 实验 设计 方案 ， 在 局 部 划 


集中 的 图 


像 输入 到 单 


依次 运行 三 种 线 特征 关联 算 当 


四 个 场景 分 别 命名 


目 线 特 征 SLAM 


也 图 跟踪 


， 其 中 输入 数据 为 当前 局 


线段 。 图 像 


图 像 A 来 自 于 数据 集 场景 2， 由 于 算法 3 SET 
图 中 三 维 线段 的 优化 结果 存在 误差 时 ， 算 法 3 难 
像 B 中 箭头 所 指 的 二 允 


子 LBD， 当 地 
以 剔除 这 样 的 误差 关联 项 ， 如 


PA, B, C, DOIA 


E 确 关联 ， Ft 
影 线段 ， 视 为 错误 关联 ， 细 实 线 为 图 
B、C 中 的 黑色 


箭头 指明 了 习 


多 


输入 图 像 、 算 法 3、 算 法 2 和 算法 1 得 到 的 关联 结果 。 关 联结 
果 图 像 中 粗 实 线 为 关联 对 距离 在 一 定 闵 值 以 内 的 三 


线段 的 二 
昌 虚 线 为 关联 对 距离 超出 阔 值 的 


像 中 提取 出 的 二 维 
点 分 析 区 域 。 
F 线段 描述 


投影 线 


段 为 地 图 中 误差 较 大 的 三 维 线段 投影 所 得 ， 算 法 3 未 能 将 其 吻 


除 。 而 算法 2 中 仅 根 据 投影 线段 的 距离 来 检测 关 
分 布 密集 时 会 得 到 较 多 错误 关联 对 ， 
较为 密集 ， 此 时 算法 2 得 到 
的 算法 中 则 可 以 使 月 


表 1 


图 像 C H 


KXT, 


当 线 段 


箭头 指向 处 线段 


的 错误 关联 对 较 多 ， 而 在 本 文 提出 
H Patch 确认 来 剔除 这 些 错误 关联 。 
线 特 生 


Table 1 Experimental result of data association algorithms 


数据 集 场景 (1-4) 


| 
N 


| 
N 


+ 
& 


HE 


E H He HAS 


|z] a |z] 
4 og + 


误 关 联 帧 比例 
均 关 联 对 数目 
算法 时 间 (ms) 
岁 投 影 误差 G 
误 关 联 帧 比例 
均 关联 对 数目 
算法 时 间 (ms) 
岁 投 影 误差 G 
误 关 联 帧 比例 
均 关 联 对 数目 
算法 时 间 (ms) 
向 投影 误差 G 
误 关 联 帧 比例 
均 关 联 对 数目 


平均 算法 时 间 (ms) 


平 


NEHER FE G 


E 关 联 算法 实验 结果 
线 特征 关联 算法 
算法 1 算法 2 
0.245% 1.09% 
84 96 
11.039 6.2899 
1.360 2.083 
2.29% 12.94% 
71 76 
16.362 7.641 
1.866 3.010 
1.95% 7.07% 
126 126 
25.514 10.094 
2.159 2.908 
0.52% 2.17% 
64 71 
9.10 5.151 
1.139 1.875 


算法 3 
4.52% 
48 
12.316 
1.736 
6.36% 
46 
18.108 
2.253 
9.24% 
97 
18.148 
2.749 
2.42% 
58 
13.35 
1.830 


表 1 为 3.1 节 中 介绍 的 关联 误差 记 
结果 记录 ， 其 中 错误 关联 帧 比例 为 G、M AL SOE OMB 
任意 一 项 超出 阔 值 的 帧 占 


全 部 帧 的 上 


指标 G 相对 于 每 一 帧 的 平均 值 。 从 错误 关联 帧 比 
误差 GRA, 本 文 算法 在 


个 数据 集 


(RK, Wahi SRK 


算法 的 关联 对 数目 稍 小 于 


5 但 


而 过 多 的 错误 关联 对 会 日 
时 间 上 来 看 ， 本 文 算 法 在 四 个 实验 场景 中 每 帧 的 运行 时 间 均 在 


例 ， 平 均 投 影 误 差 为 讨 


的 正确 率 ， 从 关联 对 数 


网 和 上 


FE 价 模块 对 各 算法 的 输出 


KH 


其 中 错误 关联 对 数目 


E SLAM ANSE 


30ms 以 内 , 其 中 二 维 线 打 


景 2 中 的 算法 运行 时 间 较 长 ， 
征 数据 关联 算法 的 输入 数 和 
但 由 于 采用 了 2.1 节 所 描述 的 


增多 时 ， 算 法 规模 并 不 会 急剧 扩大 ， 
行 。 其 他 算法 中 算法 2 速度 最 
运行 场景 下 变化 较 大 ， 难 以 处 
为 常用 的 基于 线段 的 LBD fii 


煞 目 最 多 的 场景 3 和 包含 闭环 的 场 


mR 


F 均 投影 
声 景 上 的 运行 结果 均 为 最 
来 看 ， 本 文 
最 少 ， 


Es 从 算法 


eG, F: 基于 线 特征 的 单 目 SLAM 中 的 和 迭代 数据 关联 算法 


法 提高 了 
HE 
于 LBD 的 关联 算法 ， 本 文 提 出 的 算法 具有 更 高 的 稳定 性 和 
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征 几 何 关 系 的 迭代 最 近邻 关联 算法 和 仅 使 用 线段 描述 子 的 基 


I 


线 特征 SLAM 系统 的 整体 性 能 , 相对 于 仅 使 用 线 


确 性 。 


4 


AE 


问题 。 近年 来 点 线 结合 的 单 目 SLAM 系统 因 其 准确 性 和 和 鲁 棒 性 
的 人 


出 问题 限制 了 线 特 征 优势 的 发 挥 。 本 文 针对 难度 较 大 的 单 


结束 语 


线 特征 的 数据 关联 是 单 目 线 特征 SLAM 面临 的 一 个 重要 


ti 势 引 起 了 较 多 学 者 的 注意 002520， 但 这 些 与 线 特征 相关 的 


线 特征 SLAM 系统 ， 提 出 了 一 种 新 的 线 特 征 数据 关联 算法 。 本 


文 提 出 的 算法 融合 了 最 近邻 匹配 和 基于 线段 端点 图 像 Patch 的 


错误 关联 剔除 策略 ， 使 用 迭代 的 处 理 方式 。 在 公共 数据 集 上 的 


节 中 的 迭代 优化 方法 ， 当 输入 的 二 维 线 特 征 或 


ATH 


理 线段 密集 的 场景 ; 


的 关联 方法 ， 


比例 在 不 同 场景 中 较为 稳定 ， 但 此 算 济 
对 数目 最 少 ， 由 之 前 的 单 帧 运行 情况 来 看 ， 该 算 济 


入 数据 中 的 误差 项 和 纹理 


为 了 分 析 不 同 线 特 和 
本 文 在 同一 套 SLAM 系统 中 分 别 采 ) 


a 


EFE ik AY RE o 
E 关 联 算法 对 SLAM RAM 


KEIN BUR 


实验 表明 ， 本 文 提 出 的 迭代 线 特征 关联 算法 在 关联 准确 率 和 关 
联 对 数目 上 均 达 到 了 较 好 的 性 能 要 求 。 后 续 工 作 中 将 进一步 研 


场景 2 中 相机 的 闭环 运动 使 线 特 
兽 加 了 很 多 被 遮挡 的 三 维 线 特征 
缩小 候选 关联 集合 的 策略 和 2. 
维 线 特征 数量 

算法 仍然 能 够 保证 实时 运 

决 ， 但 其 错误 关联 帧 比例 在 不 同 


算法 3 是 较 
其 错误 关联 帧 
得 到 的 关联 


FE 能 的 影 


不 易 处 理 输 


at 


基于 算法 1、 算 法 2 和 


的 错误 关联 帧 比例 过 高 ， 仅 对 数据 集 场景 1、3、4 进行 实验 ， 


法 3 的 局 部 地 图 跟踪 模块 进行 了 实验 。 


SLAM 系统 得 到 的 相机 位 姿 的 相对 误差 见 表 1 。 


表 2 不 所 


E 关 联 算法 的 相对 位 姿 误差 


于 算法 2 在 场景 2 


Table 2 Relative pose error of different data association algorithms 


线 特征 关联 算法 
数据 集 场景 
算法 1 算法 2 算法 3 
RMSE (m/s) 0.0304 0.0436 0.0484 
中 值 (m/s) 0.0252 0.0371 0.0413 
| RMSE (deg/s) 0.5587 0.8092 0.8529 
中 值 (deg/s) 0.3599 0.3876 0.4413 
RMSE (m/s) 0.1253 0.1689 0.1403 
中 值 (m/s) 0.1218 0.1676 0.1342 
RMSE (deg/s) 1.5433 3.7659 1.9632 
中 值 (deg/s) 1.1089 2.4806 1.3593 
RMSE (m/s) 0.0158 0.0176 0.0267 
中 值 (m/s) 0.0112 0.0128 0.0118 
RMSE (deg/s) 1.3184 1.7336 1.160 
中 值 (deg/s) 0.4179 0.7874 0.4864 
Be 2 中 的 位 姿 轨 迹 相对 误差 表明 本 文 提出 的 线 特征 关联 算 
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